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Abstract of DE1 961 0066 

In order to capture facial data, several pictures of 
a person are taken with a camera and checked 
for the presence of a face and the eye positions 
are determined. Features localised at grid points 
of a superposed grid, and determined by the 
positions of the eyes are extracted and 
summarised to form characteristics vectors. From 
the available sets of characteristics vectors, a set 
of reference characteristics vectors is calculated 
by averaging for each person. Using an 
optimisation process applied to a pre-existing 
data bank which assigns weightings to the 
reference characteristics vectors, the 
discriminance of the averaged characteristics is 
raised. The captured data are used as 
comparative data for the newly determined 
characteristics data of a single picture when 
determining or confirming a person's identity. 
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) Verfahren zur Erfassung gesichtsbezogener Personendaten und deren Verwendung zur Identifizierung oder 
Verifikation von Personen 



© Zwecks Erfassung der gesichtsbezogenen Daten warden 
mehrere mit einar Kamera aufgenommene Bilder einer 
Person auf Vorliegen eines Gesichts Qbarpruft und die 
Augenpositionen bestimmt. Sodann warden an durch die 
Augenpositionen bestimmten Gitterpunkten eines uberlager- 
tan Gitters dort lokaiisierte Markmale extrahiert und aus den 
verfugbaren Merkmalssatzen ein Satz von Referenzmerkrna- 
len ]e Person durch Mittelung berechnet. Durch einen 
OptimierungsprozeS gegenuber einer vorgegebenen Daten- 
bank, der den Referenzmerkmalen je nach Gitterpunkt 
unterschiedliche Gewichte zuordnet, wird die Diskriminanz 
der gemitteiten Markmale erhoht. Zur Identifizierung oder 
Verifikation atner Parson dienen die erfa&ten Daten a(s 
Vergleichsdaten fur die dann jeweiis neu ermitteiten Merk- 
3 malsdaten. 
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Beschreibung 

Auf dem Gebiet der Sicherheitstechnik ist es ublich, 
Personen an Hand von personlichen Merkmalen zu 
identifizieren oder zu verifizieren, um ihnen Zugang zu 
sicherheitsrelevanten Einrichtungen zu gewahren. 

Zu diesen personlichen Merkmalen gehort auch das 
Gesicht, das zur Erfassung von gesichtsbezogenen Da- 
ten von einer Kamera auf genommen wird. Die digitalen 
Bilddaten werden dann auf besondere Merkmale hin 
untef sucht und ein entsprechender Graph gebildet, der 
in einer Datenbank abgespeichert wird und damit zum 
Vergleich mit einem jeweils neugebildeten Graphen zur 
Verf ugung stent. Stimmt ein von einer Person neu abge- 
leiteter Graph mit einem abgespeicherten uberein, er- 
halt die Person den gewunschten Zugang. 

Es ist bereit s eine Reihe von Gesichtserkennungssy- 
stemen bekannt, wobei die nachfolgende Numerierung 
sich auf das Uteraturverzeichnis am Ende der Beschrei- 
bung bezieht 

Zul: 

Der hierin dargestellte Ansatz verwendet zur Erken- 
nung von Gesichtern deren Darstellung in einem Raum 
von Eigenfaces. Diese Darstellung ist die sogenannte 
Karhunen-Loeve-Transformation (KLT). Sie erfordert 
eine groBe Menge von Trainingsmustern. Es seien diese 
fur Bilder der GroBe NxN als NMimensionale Vekto- 
ren xgegeben. Die Basisfunktionen der KLT erhalt man 
dann durch Losen des Eigenwertproblems 

A - <D T £<D 

wobei 2 die Kovarianzmatrix der Datenvektoren, <D die 
Eigenvektor-Matrix von S und A die Diagonalmatrix 
der Eigenwerte ist Man erhalt die neue Darstellung von 
Sals 

wobei x* den Mittelwert aller 5Tbezeichnet <S>m ist eine 
Submatrix von ®, die die fuhrenden M Eigenvektoren, 
d h. die Eigenvektoren zu den M groBten Eigenwerten, 
enthalt In einer derartigen teilweisen KLT betragtder 
Rekonstruktionsfehler fur ein bestimmtes Muster x ge- 
rade 



ergibt sich zwar eine bessere Erkennungsleistung, je- 
doch wird der bei jeder abbrechenden Eigenvektorent- 
wicklung sich erg;ebende Nachteil, namlich daB die er- 
neute Berechnung der Eigenvektoren erforderlich wird, 

5 sobald neue Gesichter hinzukommen, nicht aufgehoben. 
Andererseits wird versucht, mit Hilfe multipler Beob- 
achter eine Erkennung zu r ealisieren, die von der Kopf- 
rotation der Person unabhangig ist In dem verwendeten 
formalen Rahmen bedeutet dies, daB fur jeden dieser 

10 Beobachter die Koeffizienten der Entwicklung in dem 
zugehorigen Vektorraum bekannt sein mussea Multiple 
Beobachter erfordern also multiple KLT und multiple 
Kodieningen. Fur eine zu erf assende Person sind daher 
mehrere Datensatze zu speichern, was einen entspre- 

15 chenden Aufwand an Speicherkapazitat und Verarbei- 
tungszeit erf ordert 
Zu2: 

Das hierin beschriebene Verfahren zur Gesichtserken- 
nung basiert im wesentlichen auf der Verwendung eines 
2© 2-Kamera-Systems zur Segmentierung. Als Merkmals- 
detektoren werden Richtungsableitungen der zweidi- 
mensionalen Gaufifunktion verwendet Der Startpunkt 
fur die Definition und Konstruktion der Merkmalsde- 
tektoren ist die bekannte GauBfunktion 
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G(r) = 




Diese GroBe wird als "distance from feature space" 
bezeichnet und zur Lokalisierung des Gesichts inner- 
halb eines Bildes verwendet 

Solch ein Eigenface-basiertes System kann durch lo- 
Icale Variation getauscht werdea Weiterhin erfordert 
das System eine Normalisierungsstufe, die das Gesicht 
auf eine StandardgroBe bringt Da das Verfahren auch 
zur effizienten Kodierung von Gesichtern fur die Video- 
ubertragung verwendet wird, ist eine Erfassung mehre- 
irer Bilder eines Gesichts mit nur einem Merkmalssatz 
jprinzipiell nicht moglich. 

Es werden daher zwei Erweiterungen vorgeschlagen, 
die diese Defizite teilweise beheben: 
!Einerseits wird das Schema der Eigenfaces auf beliebige 
andere Merkmale, wie z. B. Augen, Nase, Mund etc, des 
Gesichts ausgedehnt Werden diese modularen Eigen- 
vektor-Darstellungen mit den Eigenfaces kombiniert, 



Sie ist um x=0 mit einer Varianz o 2 lokalisiert Die 
einzelnen Detektoren sind Richtungsableitungen von 
G(x)G(y), dem 2-dimensionalen Analogon von G(x). 
Man bezeichnet sie ublicherweise mit Gn^ wobei n die 
35 Ordnung der Ableitung und 9k=kji/(n + 1) mit k=Q, . . , 
n ihre Richtung bezeichnet Es werden Ableitungen der 
Ordnung 1 bis 3 verwendet 

Das System arbeitet als Identifikationssystem und die 
Assoziationsleistung wird von einem sparlich besetzten 
verteilten topographischen Speicher (SDM) erbracht 
Zwar werden zum Training des SDM mehrere Bilder fur 
jede Person verwendet jedoch ist die erfaBte Informa- 
tion nicht nach Personen separierbar. Daher gibt es kei- 
ne kompakte Darstellung des Aussehens einer einzel- 
45 nen Person, wie es in einem Verifikationssystem erfor- 
derlich ware. 
Zu3: 

Das dargestellte System kann nur Folgen von Videobil- 
dern bei der Erkennung verarbeitea Weiterhin werden 

so als die Gesichter unterscheidende Merkmale die Koeffi- 
zienten einer Entwicklung der Oberflache der Gesichter 
in 3-dimensionale Eigenkopfe verwendet Somit zeigt 
das Verfahren die von den Eigenfaces bekannten Vor- 
undNachteile. 

55 Zu4: 

Bei diesem System wird der Vergleich zwischen dem zu 
erkennenden Bild und dem gespeicherten Bild durch 
einen flexiblen Abbildungsmechanismus realisiert Zum 
Vergleich werden durch unspezifische Merkmalsdetek- 

60 toren extrahierte lokale Merkmale des Gesichts ver- 
wendet Die Gitterpositionen, an denen die Merkmale 
extrahiert werden, sind nicht explizit f estgelegt, sondern 
variabel, wobei die Gitterverzerrung in der Vergleichs- 
funktion enthalten ist 

65 Die Positionierung der Gitterpunkte ergibt sich als 
Resultat eines globalen Optimierungsprozesses mit der 
Kostenfunktion 



E « Esim + ?lEtop» 

wobei der erste Term Esim die Ahnlichkeit extrahierter 
Merkmalsvektoren (Jets) an jeweils korrespondieren- 
den Gitterpositionen und der zweite Term Etop die Git- 
terverzerrungskosten quantifiziert Hier wird also ein 
bewegiiches Gitter verwendet 

Dieses VerfahrenhatdaherfolgendeNachteile: 
Es funktioniert nicht bei koraplexen Hintergriinden, da 
das Gitter mit den Merkmaisdetektoren nicht ausschlieB- 
Iich das Gesicht uberdeckt Auch besteht innerhalb des 
formaien Rahmens keine Moglichkeit mehrere Bildermit 
nur einem Merkmalssatz zu erfassen. Weiterhin kann 
wegen der Vernachlassigung von Phaseninformation in 
derKonstruktionderJetsderReferenzdatensatznichtzur 
Rekonstruktion des Gesichts verwendet werden. 

Zu5: 

Das in der Patentschrift erwahnte Verf ahren zur Erf as- 
sung und Wiedererkennung von Gesichtern basiert 
ebenso wie (1) auf dem Eigenface-Ansatz und ist somit 
ebenso nicht zur Erfassung mehrerer Bilder einer Per- 
son in einem kompakten Code geeignet Als "Merkmale" 
gelten hier wie auch im modularen Ansatz von (1) tat- 
sachliche, fur den Menschen sichtbare und klar definier- 
te Teile des Gesichts, wie z. B. Augen oder Augenbrau- 
en. AuBerdem wird ein dualer Code verwendet, der ei- 
nerseits die absolute Position eines Merkmals ("off set") 
andererseits deren spezifisches Aussehen ("reference 
vertex") beschreibt Um diese Merkmale zu finden, wer- 
den "intelligente" Mustererkennungstechniken (Stich- 
wort "snake") angewandt 
Zu6: 

Das hier beschriebene Verfahren erweitert den in (4) 
beschriebenen Ansatz um eine Gewichtung der Gitter- 
positionen. Diese Gewichtung ist eindeutig fur eine be- 
stimmte Aufgabe und modinziert die bisherige Ahnlich- 
keitsfunktion. Die Gewichte sind daher nicht Bestand- 
teil des Referenzdatensatzes fur eine erfaBte Person. 
Weiterhin erfolgt keine Spezifikation der Qualitatsf unk- 
tion Q zur Optimierung der Gewichte. Es ist ledighch 
angegeben, daB die Datenmenge T, die der Optimierung 
zugrunde liegt, nur jeweils Paare von Bildern verschie- 
dener Personen enthalt Damit kann allenfails ein kon- 
ventionelles Erkennungsexperiment durchgefuhrt wer- 
den, und die Berucksichtigung mehrerer Bilder bei der 
Erfassung ist ausgeschlossen. 

Die Gitterpositionen selbst ergeben sich vergleichbar 
dem Verfahren nach (4) als Resultat eines globalen Opti- 
mierungsprozesses, der das gesamte Gitter umf aBt Die 
Lage eines einzelnen Gitterpunktes ist also nicht Resul- 
tat eines expliziten Detektionsprozesses und somit an 
die Existenz eines lokalen Merkmals gebunden, sondern 
ergibt sich aus dem kooperativen Verhalten des beweg- 
lichenGitters. 

Die Erfindung hat ein Verfahren zur Erfassung von 
gesichtsbezogenen Personendaten und deren Verwen- 
dung zur Identifizierung oder Verifikation in Zugangs- 
kontrollsystemen zum Gegenstand, das Merkmale der 
vorangehend genannten Systeme aufgreift und wesent- 
lich erweitert, sowie eine schnelle und robuste Erken- 
nung von menschlichen Gesichtern aus Standbildern un- 
ter naturlicher Beleuchtung ermogticht 

Ein entsprechendes Verfahren ergibt sich aus den 
Merkmalen des Anspruches 1. 

Danach werden die gesichtsbezogenen Daten nicht 
von einem einzigen Bild, sondern von einer Reihe von 
Bildern der zu erf assenden Person abgeleitet, und das zu 
uberlagemde Gitter orientiert sich mit seinen Gitter- 
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punkten an der Lage der Augen, die am einf achsten von 
den Gesichtsmerkmalen zu lokalisieren sind. 

Anhand der extrahierten Merkmale je Gitterpunkt 
werden dann ein reprasentativer Merkmalssatz fdr alle 
Bilder sowie optimierte Gewichte fur jeden Gitterpunkt 
berechnet, um die Gleichfehlerrate moglichst klein zu 
halten. Das bedeutet im Einzelnen: 
Fur jedes aufgenommene Bild i werden dabei d be- 
stimmte Merkmaisdetektoren, z. B. solche wie in (2), an 
jedem Gitterpunkt g und fur jede Auflosungsstufe k 
einer festen Menge von Auflosungsstufen des Bildes 
angewandt, so daB sich d-dimensionale Vektoren 53* ?L 
ergeben. Ein Merkmal ist hier eine Komponente eines 
solchen Vektors und daher im Gegensatz zu (5) die Ant- 
wort eines unspezifischen Merkmalsdetektors.., Damit .. 
sind die Merkmale im Gesicht nicht klar lokalisiert, son- 
dern man konnte sie start dessen als delokaiisiert be- 
zeichnen. 

Imnachsten Schritt werden jeweils mehrere Vekto- 
ren mfo *) zu neuen Vektoren zusammengefaBt die im 
folgenden als Merkmalsvektoren bezeichnet werden. 
Hierbei gibt es verschiedene Moglichkeiten: Beispiels- 
weise kann die Zusammenfassung fur jeden Gitterpunkt 
uber mehrere Auflosungsstufen oder fur jede Auflo- 
sungsstufe fiber mehrere Gitterpunkte erfolgen; denk- 
bar ist auch eine Kombination dieser beiden Techniken. 
Die einfachste^Mdglichkeit ist als Merkmalsvektoren 
die Vektoren *) selbst zu verwenden. 

In jedem Falle existieren nach der Zusammenfassung 
Merkmalsvektoren m% q = U-J$q wobei N q die Zahl 
der Merkmalsvektoren bezeichnet Vor der weiteren 
Verarbehung sind die Merkmalsvektoren auf Lange 1 
zu normieren; im folgenden wird daher angenommen, 
daB (n?») 2 = l gilt 

In einem MittelungsprozeB werden diese Satze von 
Merkmalen aller aufgenomraenen Bilder zu einem re- 
prasentativen Referenzmerkmalssatz zusammengefaBt 
Dieser representative Referenzmerkmalssatz kann 
durch unterschiedliche Mttelungsschemata erzeugt 
werden. Betrachtet man namlich m q als Satz nonnierter 
Merkmalsvektoren einer festen Person fur die unter- 
schiediichen Trainingsbilder i = 1, . . N und fur ein fe- 
stes q, so erhalt man (im Folgenden ist zur Vereinfa- 
chung der Notation der Index q weggelassen) einen re- 
prasentativen Datensatz rT= S&ini durch die Minimie- 
rung einer Funktion V, die die Breite der Selbstahnlich- 
keit pij = nT • n| aller Merkmalsvektoren quantifiziert 
wobei die Normalisierungsnebenbedin^un^n 5 = 1 ein- 
gehalten werden muB. Im Fall V^Em • ni ergibt sich 
n «J£inT wahrend sich fur V=2i(n- ni} 2 die Koeffizien- 
ten 5Tals Eigenvektor der Matrix P=(pij) ergeben, der 
zum groBten Eigenwert gehort Diese Art Eigenvektor 
hat aber nichts mit einer KLTzu tun. 

Alternativ kann derjenige Merkmalssatz unter den 
Merkmalssatzen der aufgenommenen Bilder als neuer 
reprasentativer Referenzmerkmalssatz bestimmt und 
verwendet werden, der den kleinsten Abstand, z. B. den 
kleinsten euklidischen Abstand, zu dem nach einer der 
vorhergehend beschriebenen Methoden ermittelt wur- 
de. 

Die Gesamtahnlichkeit eines Referenzmerkmalssat- 
zes zu dem Merkmalssatz aus Bild i ergibt sich als ge- 
wichtete Summe der einzelnen Ahnlichkeiten 
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zum jeweiligen Referenzmerkmalsvektor 1$ in der 
Form 
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Die einzelnen Gewichte sind nicht negativ und ihre 
Summe betragt 1. 

Zusatzlich konnen auch die einzelnen Merkmale ge- 
wichtet werden. Dazu wird jedem Referenzmerkmais- 
vektor n^ eine Diagonalmatrix O 1 zugeordnet, deren 
Diagonalelemente die Gewichte fur jede Komponente 
vonff und damit fur jedes einzelne Merkmal darstellen 
Die Gewichtung erfolgt dann durch Multipiikation der 
Matrix mit dem Referenzmerkmalsvektor. Auch der ge- 
wichtete Referenzmerkmalsvektor muB auf Lange 1 
normiert sein, dh.es muB (C q i?) 2 = 1 gelten. Die einzel- 
nen Ahnlichkeiten pi q ergeben sich dann nach folgender 
Gleichung: 

1^-nT^Cqn 5 . 

Die Berechnung von personenabhangigen Gewich- 
ten, die ebenfalls Teil der spater abgespeicherten ge- 
sichtsbezogenen Daten sind, ist auf die speziefle Aufga- 
be zugeschnitten und berucksichtigt Informationen aus 
den aufgenommenen Bildern und einer Hintergrundda- 
tenbank von Merkmalssatzen, was im Folgenden be- 
schriebenwird 

Das Ziel jeden Verifikations- oder Identiflkationssy- 
stems ist, gleichzeitig die Rate der falschen Zuruckwei- 
sungen (false rejection rate, FRR, und die Rate der 
falschen Akzeptierungen (false acceptance rate, FAR, 
1$) moglichst gering zu halten. In unserem System sind 
beides Funktionen der Akzeptanzschwelle X und defi- 
niertals 

mit 6(x) als Heavisidesche Stufenfunktion. ffier ist N A 45 
die Anzahl der unterschiedlichen Bilder von Person A, 
die bei der Erfassung aufgenommen werden, wahrend 
Nb die Anzahl der Merkmalssatze von Bildern anderer 
Personen in der Hintergrunddatenbank istDi q bezeich- 
net die Ahnlichkeit des Merkmalsvektors n des Bildes ^ 
i von Person A zum Referenzmerkmalsvektor n * und rf 
den entsprechenden Wert fur eine Person B f A. 

Das oben genannte Ziel kann durch Bestimmung sol- 
cher personenabhangigen Gewichte erreicht werden, 
die eine geeignete Zielfunktion optimieren. Sinnvolle 55 
Zielfunktionen sind beispielsweise die Summe der bei- 
den Fehlerraten (FAR und FRR) oder die Gleicbf ehler- 
rate (equal error rate, EER), der Funktionswert also, fur 
dessen Argument FAR und FRR gleich sind Eine ande- 
re Zielfunktion geht direkt aus von der Menge der Ge- bo 
samtahnlichkeiten zwischen dem Referenzmerkmals- 
statz von Person A und den Bildern von A (pi « EqWqPi'*) 
sowie von der Menge der Gesamtahnlichkeiten zwi- 
schen diesem Referenzmerkmalssatz und den Merk- 
malssatzen aus der Hintergrunddatenbank (rj =2qw q rj q ) 55 
imd quantifiziert das AusmaB derTrennung dieser Men- 
gen: 
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Hierbei bezeichnen pi und rj die jeweiligen Mittelwer- 
te der Gesamtahnlichkeiten uber alle i bzw. j sowie 
Var(pi) und Var(rj) die jeweiligen Varianzen. Alle drei 
10 genannten Zielftinktionen ergeben sich bei gegebenen p 
und r als Funktionen der Gewichte. Zusatzlich zu den 
Gewichten muB noch der optimale Schwellwert be- 

stimmt werden: _ 

Bei den beiden erstgenannten Zielfunktionen ergibt er 
is sich bei der Optimierung der Gewichte, bei der dritten 
Zielfunktion kann er nach der Gewichteoptinuerung 
z. B. als Ort der Gleichf ehlerrate gewahlt werden. 

Optimierungsverfahren mit Bestimmung von Ge- 
wichten sind bekannt, z. B. als stochastische Suche im 
Raum der moglichen Gewichte, siehe z. B. "Numerical 
Recepis in C von Press et al, Cambridge University 
Press, ZAuflage 1993. 

Weiterbildungen der Erfindung ergeben sich aus den 
Unteranspruchen, die sich u. a. auf die unterschiedlichen 
Moglichkeiten fur die Berechnung reprasentativer Re- 
ferenzmerkmalssatze und auf die zusatzliche Verwen- 
dung der Nasenlage fur die Bestimmung der Gitter- 
punktpositionen beziehen. 

Einzelheiten der Erfindung seien nachfolgend an 
Hand von in der Zeichnung dargestellten Verf ahrensab- 
iauf en naher erlautert Im einzelnen zeigen 

Fig. 1A das nuBdiagramm eines Bilderfassungspro- 
zesses, 

Fig. IB das FluBdiagramm eines anschlieBenden Op- 
timierungsprozesses und 
Fig. 2 das FluBdiagramm fur eine Verifikation. 
In diesen FluBdiagrammen sind die einzelnen Verfah- 
rensschritte fortlaufend numeriert und die nachfolgende 
Eriauterung ist entsprechend dieser Numerierung ge- 
gliedert 

Mh Bezug auf Fig. 1 A sind das folgende Verfahrens- 
schritte: 

L Innerhalb der durch das System vorgegebenen 
Zeit von 10 Sekunden werden 8 Bilder aufgenom- 
men. Fur jedes zweite Bild werden dabei sofort die 
Augen lokalisiert Bei den ubrigen Bildern wird nur 
das Gesicht lokalisiert 

2. Die extrahierten Augenpositionen dienen dann 
zur Beurteilung, ob der ErfassungsprozeB erfolg- 
reich war. En ErfassungsprozeB ist erfolgreich, 
falls die Augen in mindestens 3 der 4 Bilder gefun- 
den wurden und gleichzeitig die Varianz der extra- 
hierten Augenpositionen eine Schwelle uberschrei- 
tet 

3. Sollte dies der Fall sein, ist die Erfassung beendet 

4. Im anderen Fall werden alle Bilder gespeichert, 
auBer denjenigen, bei denen keine Augen lokali- 
siert werden konnten. 

5. Wiederum werden 8 Bilder aufgenommen, von 
denen 4 der Augenfindung unterworfen werden. 
Wie bei der ersten Gruppe von 8 Bildern wird die 
Varianz der Augenpositionen berechnet 

6. Diese gilt zusammen mit der Anzahl der Bilder, 
bei denen der Augenfinder erfolgreich war, als Kri- 
terium, ob die Erfassung erfolgreich war. 

7. Im positiven Fall ist die Erfassung beendet 

8. Sollte dies nicht der Fall sein, so werden die Bil- 
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der mit lokalisierten Augen gespeichert 

9. siehe 5. 

10. siehe 6. 

11. siehe 7. 5 
1Z Falls die in 2. erwahnten Bedingungen nach kei- 
nem der drei Erfassungsschritte erfullt wurde, gilt 
die Erfassung als nicht erfolgreich, und der Benut- 
zer wird entsprechend informiert 

Bei erfolgreich abgeschlossener Erfassung der vorge- 10 
gebenen Anzahl von Bildern wird auf den Optimie- 
rungsprozeB ypn Fig. 1 B ubergeleitet:_ 

13. Bei den abgespeicherten Bildern, bei denen bis- 
her keinerlei Verarbeitung durchgefuhrt wurde, 
wird nun versucht, das Gesicht und dann die Augen 
zu lokalisiereiL Bilder, bei denen dieses nicht mog- 
lich ist, werden verworfen, und es werden die Au- 
genpositionen zu den ubrigen Bildern abgespei- 
chert 

Bei alien danach gultigen Bildern werden die Posi- 
tion und die Skalierung des Gesichts beztiglich der 
Augenpositionen normalisiert, indem das jeweilige 
Bild rotiert und skaliert wird, bis die Augen inner- 
halb des Bildes auf einer horizontalen Lime liegen 
und einen vorgegebenen Abstand aufweisen- Fur 
Bilder, bei denen die Augen gefunden wurden, wer- 
den auf verschiedenen Auflosungsstufen die Merk- 
malssatze bestimmt ^ 

14. Auf jeder Auflosungsstufe werden an jedem 
Gitterpunkt die Referenzmerkmale durch Mitte- 
lung fiber die Merkmaie der einzelnen Bilder be- 
stimmt 

15. Zu Beginn des Optimierungsprozesses werden 
die relativen Gewichte der Gitterpunkte mit dem 
Kehrwert der Anzahl der Gitterpunkte initialisiert 
Der Zahler i fur die Optimierungsschritte wird auf 0 
gesetzt 

16. Fur alle Auflosungsstufen wird die EER (equal ^ 
error rate, Kreuzungspunkt der Kurven fur falsche 
Akzeptanz und falsche Zuruckweisung) des Refe- 
renzmerkmalssatzes berechnet und unter EER(i) 
abgespeichert Die Datenbank fur diese Berech- 
nung besteht aus den Merkmalssatzen aller bei der 
Erfassung akzeptierten Bilder und einer Datenbank 
von Merkmalen fur andere Personen. 

17. Wahl einer zufalligen Kombinationen von Ge- 
wichten fur die Gitterpunkte. Der Schleifenzahler i 
wird um 1 erhdht 

ia Sollte die maximale Anzahl von Schleifendurch- 
laufen uberschritten sein, ist die Optimierung been- 
det und es wird mit Schritt 22 fortgesetzt 

19. Die neuen Merkmaie mit geringster EER, sowie 
die Schwellen fur jede Auflosungsstufe werden ge- 
speichert 

20. Fur die zufallige Wahl der Gewichte werden die 
EERs und die Schwellwerte auf alien Auflosungs- 
stufen berechnet Die jeweiligen Resultate werden 
als EER(i) abgespeichert 

21. Falls die neuen Fehlerraten geringer sind als die 
alten als beste gespeicherten, so wird mit Schritt 19 
fortgesetzt Im anderen Falle folgt Schritt 17. 

22. Nach Beendigung der Optimierung werden die 
Gewichte der Gitterpunkte fur die niedrigste EER 
gespeichert Ebenfalls gespeichert wird die Auflo- 
sungsstufe, auf der diese niedrigste Rate auftrat, 
sowie der zugehorige personenabhangige Schwell- 
wert 
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Das Verfahren fur die Verifikation einer Person um- 
faBt gemaB dem FluBdiagramm von Fig. 2 folgende 
Schritte: 

31. Die PIN (personal identification number, per- 
sonliche Identtfikationsnummer) der Person wird 
eingelesen. 

32. Es wird kontroliiert, ob es sich um eine gultige 
Benutzernummer handelt 

33. Falls die Nummer dem System nicht bekannt ist, 
wird die Person zuruckgewiesen. 

34. Es wird kontroliiert, ob die eingegebenen Num- 
mer zu einer autorisierten Person gehort 

35. Sollte das nicht der Fall sein, wird die Person 
abgewiesen. 

36. Die Kamera nimmt ein Bild der Person auf, das 
fiber einen Framegrabber an den Computer weiter- 
gegebenwird. 

37. Im aufgenommenen Bild wird versucht, ein Ge- 
sicht zu lokalisieren. 

38. Die Ausgabe der Gesichtslokalisierung wird be- 
wertet 

39. Wenn kein Gesicht gefunden wurde, wird die 
Person abgewiesen. 

40. Der Augenfinder versucht, innerhalb des Bildes 
Augen zu finden. 

41. Die Ausgabe der Augenfindung wird bewertet 
42 Falls keine Augen gefunden wurden, wird die 
Person abgewiesen. 

43. Die Position und die Skalierung des Gesichts 
werden bezuglich der Augenpositionen normali- 
siert Nach der Normalisierung liegen die Augen 
innerhalb des Bildes auf einer horizontalen Linie 
und haben einen festen, vorgegebenen Abstand. 
Dazu wird das Bild rotiert und skaliert 

44. Die Merkmaie werden auf der Auflosungsstufe 
extrahiert, die fur die entsprechende Person wah- 
rend der Erfassung als optimal ermittelt wurde. 

45. Zwischen dem Satz der Referenzmerkmale und 
den aus dem aktuellen Bild extrahierten Merkma- 
len wird die Ahnlichkeit berechnet Dabei werden 
die als optimal bestimmten Gewichte der Gitter- 
punkte berucksichtigt 

46. Die ermittelte Ahnlichkeit wird mit der perso- 
nenspezifischen Schwelle verglichen. 

47. Falls die Ahnlichkeit unterhalb der erforderli- 
chen Schwelle liegt, wird die Person zuruckgewie- 
sen. 

4& Falls die Ahnlichkeit uber der Schwelle liegt, 
wird die Person akzeptiert 

Analoges gilt fur die Identifizierung des Gesichts ei- 
ner unbekannten Person mit Bezug darauf, ob die Per- 
son in der Datenbank fur erf aBte Personen enthalten ist 
oder nicht 
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Patentanspruche 

1. Verfahren zur Erfassung gesichtsbezogener Per- 15 
sonendaten, gekeiinzeichnet durch folgende Ver- 
fahrensschritte: 

— Aumahme mehrerer Bilder von der zu er- 
fassenden Person, 

— Lokalisieren des Gesichtes in den aufge- 20 
nommenen Bildern, 

— Lokalisieren der Augenim lokalisierten Ge- 
sicht, 

— Normalisieren des Gesichts durch Rotieren 
und Skalieren des jeweiligen Bildes, bis die Au- 25 
gen tnnerhalb des Bildes auf einer horizontalen 
Linie mit vorgegebenem Abstand liegen, 

— Extraktion von Merkmalen durch Merk- 
malsdetektoren mit Bezug auf Gitterpunkte 
eines Gitters, wobei die Positionen der Gitter- 30 
punkte durch die Lage der Augen bestimmt 
sind, mit Zusammenfassung der Merkmale zu 
einem Merkmalssatz fur das jeweilige Bild, 

— Berechnung eines reprasentativen Refe- 
renzmerkmalssatzes, der die Merkmalssatze 35 
aller aufgenommenen Bilder auf kompakte 
Weise zusammenfaBt, 

— Optimierung von personenabhangigen Ge- 
wichten fur jeden Referenzmerkmalssatz 
zwec^OptiniienmgemerZielfuriktion,dieei- 40 
ne Funktion dieser Gewichte sowie der Ahn- 
lichkeitswerte zwischen dem Referenzmerk- 
malssatz und denjenigen Merkmalssatzen dar- 
stellt, die aus den aufgenommenen Bildern der- 
selben Person und den Bildern anderer Perso- < 5 
nen aus einer Hintergrunddatenbank gewon- 
nen wurden, mit Bestimmung einer optimalen 
Akzeptanzschwelle, 

— Abspeicherung der so ermittelten gesichts- 
bezogenenDaten der erfaBten Person. 5;o 

2. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Berechnung eines reprasentativen 
Referenzmerkmalssatzes mittels Durchschnittsbil- 
dung und Normatisierung mit Bezug auf alle Bilder 
der zu erf assenden Person erfolgt 55 

3. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Berechnung eines reprasentativen 
Referenzmerkmalssatzes mittels Ableitung des Ei- 
genvektors zum groBten Eigenwert der Ahnlich- 
keitsmatrix erfolgt 00 

4. Verfahren nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, daB die Positionen der 
Gitterpunkte zusatzlich durch die Lage der Nase 
bestimmt werden. 

5. Verfahren nach einem der Anspruche 1 bis 4, M 
gekennzeichnet durch die Verwendung der erfaB- 
ten und abgespeicherten gesichtsbezogenen Perso- 
nendaten zur Personenidentifizierung, indem je- 
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weils neu erfaBte Merkmalsdaten mit den gespei- 
cherten Referenzdaten verglichen werden. 
6. Verfahren nach einem der Anspruche 1 bis 4, 
gekennzeichnet durch die Verwendung der erfaB- 
ten und abgespeicherten gesichtsbezogenen Perso- 
nendaten zur Personenverifizierung, indem jeweils 
neu erfaBte Merkmalsdaten mit den durch eine zu- 
satzliche personliche Kennung ausgezeichneten 
gespeicherten Referenzdaten verglichen werden. 
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